Compiling Autoregressive LLM Control into Policy-Exact Parallel Inference for Hierarchical RAG
将自回归LLM控制编译为策略精确的并行推理用于层级RAG
🧭 层级RAG控制并行编译 ★ 深度解读
MemTensor (Shanghai) Technology Co., Ltd. · China Haisum Engineering Co., Ltd. · The Hong Kong University of Science and Technology (Guangzhou) · Shanghai Jiao Tong University
把层级RAG受限解码编译为一次prefill+树因果probe，零输出token复制串行策略
📌 工作参考价值（4 点）
- 对电商/Agent里任何 bounded-horizon constrained LLM controller（选品、路由、工具/query推荐、多步筛选），可把动作空间编译成 action-prefix tree，用 root prefill + tree-causal probe 一次前向求出所有可达状态；零解码 token、深度-2，直接去掉 JSON 协议失败和串行延迟。
- 若业务上「顺序选择有历史依赖」但最终只取集合，可用 probe 计算 order-marginalized posterior，并用 branch-and-bound MAP certificate 得到精确集合选择；避免把顺序当成集合决策的 serialization artifact。
- 上线前用 interaction mass Iseq = KL(P_AR || P_U) 诊断历史依赖强度；若 Iseq 大，说明 unary logit shortcut 不能替代串行策略，可以用同一 probe 低成本判断何时需要保留自回归条件。
- 注意工程限制：bf16 下 near-tie 翻转与跨硬件/跨后端差异同量级；需要强 parity 就换 fp32 或对低 margin round 回退串行；horizon>3 时 probe 宽度阶乘增长，建议改成 staged/chunked 混合执行。